AI 快讯列表关于 TensorRT LLM
| 时间 | 详情 |
|---|---|
|
2026-08-13 19:57 |
连续批处理将LLM吞吐提升23倍
据@_avichawla称，连续批处理在高方差请求下较静态批处理最高提速23倍。 |